#adaptive reasoning

2 篇

To Think or Not to Think: Pre-Decisional Reasoning Budgets for Referring Audio-Visual Segmentation

指代音视频分割中基于预决策表征的推理预算控制

🧭 自适应推理 · 生成前隐状态路由

Tongji University · IEIT SYSTEMS (Beijing) Co., Ltd.

发现过长思维链对简单查询有害，利用生成前隐状态线性探测路由器省60% token且保留96%性能

📌 工作参考价值（4 点）

在 LLM-powered 推荐或 Agent 工作流中，不要默认所有 query 都走长 CoT/多步工具调用：简单 query 可能因过度推理产生 phrase 或 localization drift。可设计基于模型生成前隐状态（首 token 前的 state）的轻量路由器，判断是否需要深度推理。
用线性探针对内部表征做二分类，比基于文本特征或不确定性 proxy 信号更有效；且只需单次前向，无需额外生成，适合在线低成本决策。
报告的 60% token 减少且保留约 96% always-long 性能，可作为成本-质量 trade-off 的实用参考；对推理成本敏感的电商/广告 Agent 场景值得尝试类似的 pre-decisional routing。
该工作是 Ref-AVS 任务，未在推荐系统上实验；但思想可迁移到 RAG 是否检索、长上下文是否展开、多步推荐解释生成等自适应推理控制。

Reasoning | 2026-10-15 | cs.MM | score 6/10

学习何时思考：面向测试时计算分配的自适应推理

🧭 LLM 自适应推理 · GRPO 自路由 ★ 深度解读

Vrije Universiteit Amsterdam

1.5B 蒸馏推理模型在 GRPO 内学会用首个 token 自路由 NoThink/Short/Long 三模式，平均响应长度减少 41% 且保持精度-长度帕累托前沿

📌 工作参考价值（4 点）

在电商搜索 query 理解、推荐解释、智能客服等 LLM 推理服务中，可部署“首个 token 路由”让主模型自行选择 NoThink/Short/Long，无需额外 router 网络；简单流量占多数时可节省 50%+ 推理成本，精度损失极小。
训练多模式策略时，用硬 token cap 把路由标签与行为绑定：给短模式设 1024/3000 上限，超过即判错，防止模型选短模式却输出长链，同时保留 Long 模式处理难题。
在 GRPO 中加入负载平衡项防止模式坍塌：advantage 里加 β_bal*(p* - f_mode)，并做非对称门控——只惩罚错误过载模式的 rollout、只奖励正确欠载模式，不破坏正确样本梯度。
先离线分析业务任务难度分布再上路由；若难度同质（如 Countdown 负例），路由学不到价值差距，会坍塌为单一模式。

Reasoning | 2026-08-20 | cs.AI | score 8/10